Trâu Văn Hoài sinh năm 1927 trong gia đình Khách Gia ở Quảng Đông. Trâu Văn Hoài đã tham dự Đại học Saint John, Thượng Hải, và tốt nghiệp với bằng cử nhân báo chí vào năm 1949. Năm 1951, ông gia nhập văn phòng Voice of America tại Hồng Kông.[2][3] Ông cũng học võ thuật dưới sự hướng dẫn của Lam Sai-wing.

Trâu từng làm việc tại một số tờ báo trước khi gia nhập hãng phim Thiệu Thị Huynh Đệ năm 1957 với vai trò nhân viên quảng bá phim. Nhờ hoàn thành công việc xuất sắc, Trâu Văn Hoài nhanh chóng thăng tiến, lên chức phó tổng giám đốc, trở thành cánh tay đắc lực của Thiệu Dật Phu (1907–2014). Sau đó, Trâu Văn Hoài rời Thiệu Thị Huynh Đệ, thành lập công ty sản xuất phim Golden Harvest. Với con mắt nhạy bén, ông chi khoản tiền lớn mời Lý Tiểu Long về công ty, đóng Đường Sơn đại huynh, Tinh Võ Môn, Mãnh long quá giang, Long tranh hổ đấu.